☆ Les processus décisionnels de Markov - Vidéo

Une chaîne de Markov est un système dynamique aléatoire ; l'état au temps t+1 dépend de l'état au temps t et d'un tirage au sort.

Les chaînes de Markov modélisent un grand nombre de problèmes, météorologie, processus industriel, ou même des modèles démographiques. Ajouter le concept de décision conduit à un processus décisionnel de Markov : l'état au temps t+1 dépend (1) de l'état au temps t, (2) d'un tirage au sort et (3) de la décision prise. On parle alors de processus décisionnel de Markov. On peut aussi ajouter la notion de récompense ; par exemple, pour un système économique, il peut s'agir d'argent engrangé.

Pour un système industriel, il peut s'agir de pollution (récompense ici négative). Il peut éventuellement y avoir plusieurs plusieurs acteurs prenant des décisions (ayant des objectifs différents éventuellement, voire totalement antagonistes, comme souvent dans les jeux). Il peut aussi y avoir une difficulté d'observation : on doit alors prendre une décision en ne connaissant qu'une partie de l'état. On discutera les modèles (beaucoup), la théorie (les grandes lignes) et le champ d'application (brièvement).